find()和find |
您所在的位置:网站首页 › find和find out的区别 › find()和find |
在我们学会了BeautifulSoup库的用法后,我们就可以使用这个库对HTML进行解析,从网页中提取我们需要的内容。 在BeautifulSoup 文档里,find()、find_all()两者的定义如下: find(tag, attributes, recursive, text, keywords) find(标签,属性,递归,文本,关键词) find_all(tag, attributes, recursive, text, limit, keywords) find_all(标签、属性、递归、文本、限制、关键词) find()与find_all()的区别,find()只会取符合要求的第一个元素,find_all()会根据范围限制参数limit限定的范围取元素(默认不设置代表取所有符合要求的元素,find 等价于 find_all的 limit =1 时的情形),接下来将对每个参数一一介绍。 另外,find_all()会将所有满足条件的值取出,组成一个list
下面我们就一一介绍函数中各个参数的作用: 一、标签tag标签参数 tag 可以传一个标签的名称或多个标签名称组成的set做标签参数。例如,下面的代码将返回一个包含 HTML 文档中所有链接标签的列表: find_all("a") 下面以“百度一下”网页举例,如下图,现在要将百度页面上的所有的链接取出,观察网页源代码可以发现,标题对应的tag 是a,则soup.find_all('a')
代码如下: from bs4 import BeautifulSoupimport requestsurl = 'https://www.baidu.com/'urlhtml = requests.get(url)urlhtml.encoding = 'utf-8'soup = BeautifulSoup(urlhtml.text, 'lxml') n = soup.find_all('a')print(n) 结果如下,我们就找出了全部的标签。 上面例子只是一个标签的情况,如果多个标签写法相同,只是注意要将所有的标签写在一个set里面 二、属性attributes属性参数 attributes 是用字典封装一个标签的若干属性和对应的属性值。如,下面这个函数会返回 HTML 文档里“mnav”的a标签。find_all("a", {"class":{"mnav"}}) 如下图,现在要获取网页中的“新闻”等信息,通过观察可知,它们的属性为"mnav",标签为a。
则我们可以编写代码: from bs4 import BeautifulSoup import requests url = 'https://www.baidu.com/' urlhtml = requests.get(url) urlhtml.encoding = 'utf-8' soup = BeautifulSoup(urlhtml.text, 'lxml') n = soup.find_all('a', {'class': 'mnav'}) print(n)运行结果如下,可以看出输出的链接的属性全部为“mnav”。 递归参数 recursive 是一个布尔变量。你想抓取 HTML 文档标签结构里多少层的信息?如recursive 设置为 True, find_all()就会根据你的要求去查找标签参数的所有子标签,以及标签的子标签。如果 recursive 设置为 False, find_all()就只查找文档的一级标签。 find_all默认是支持递归查找的(recursive 默认值是 True),这里是很少使用的,所以我在这儿就不在举例了。 四、文本text文本参数 text 有点不同,它是用标签的文本内容去匹配,而不是用标签的属性。 我们再以“百度一下”的网页举例吧,在这个网页中,我们查找一下“新闻”在该网页中出现了多少个(其实只出现了一个) from bs4 import BeautifulSoup import requests url = 'https://www.baidu.com/' urlhtml = requests.get(url) urlhtml.encoding = 'utf-8' soup = BeautifulSoup(urlhtml.text, 'lxml') n = soup.find_all(text='新闻') print(n)结果如下:
需要特别注意一点,这里查找是用的是完全匹配原则,意思是如果这里你用了find_all(text=“新”),得到的结果会是0个 关键词参数 keyword,自己选择那些具有指定属性的标签
上面网页的内容,现在要取id='wrapper'的内容,则 from bs4 import BeautifulSoup import requests url = 'https://www.baidu.com/' urlhtml = requests.get(url) urlhtml.encoding = 'utf-8' soup = BeautifulSoup(urlhtml.text, 'lxml') n = soup.find_all(id='wrapper') print(n)结果如下,也就是选中的中的内容 注意:如果是class、id等参数,用keywords 或者attributes用法一样,如果是一些其他参数,则用keywords |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |